Ранее ( http://kelijah.livejournal.com/197813.html) я описывал алгоритм получения SDR из word2vec векторов через факторизацию матрицы.

Далее опишу более прямой и проще модифицируемый способ получения SDR для слов с помощью deep learning автоэнкодера.
( Read more... )

Иногда представление слов в виде не dense вектора, а sparse distributed vector, позволяет достичь лучшего качества результата. Чтобы слово представлялось набором из тысячи чисел, из которых сотня - единицы, остальные - нули.

Далее я кратко опишу один из рецептов получения таких sparse distributed representations для слов.
( Read more... )

Векторы слов, как и раньше, имеют длину 2048, со средним числом единиц ~54 ( Read more... )

1. Работать с real-valued continuous word vectors в моделях с RNN очень тяжело. Несколько разных моделей ведут себя похожим образом, попадая на какие-то плато. Практически в долину смерти оптимизаторов, где по склонам валяются скелеты умерших от истощения градиентных спускателей. Это приводит к очень плохой сходимости. Переход на хитрые ( Read more... )